概述¶
人工神经网络 (artificial neural network, ANN) 是人类在对大脑神经 网络认识理解的基础上人工构造的能够实现某种功能的神经网络, 已在模 式识别、预测和控制系统等领域得到广泛的应用, 它能够用来解决常规计算 难以解决的问题。 人工神经元是人工神经网络的基本构成元素, , $X=\left[x_{1}, x_{2}, \cdots, x_{m}\right]^{T}, W=\left[w_{1}, w_{2}, \cdots, w_{m}\right]^{T}$ 为连接权, 于是网络输入 $u=\sum_{i=1}^{m} w_{i} x_{i}$ 其向量形式为 $u=W^{T} X$ 。
激活函数也称激励函数、活化函数, 用来执行对神经元所获得的网络输 入的变换，一般有以下四种。 (1) 线性函数 $f(u)=k u+c$ 。 (2) 非线性斜面函数 $$ f(u)= \begin{cases}\gamma, & u \geq \theta, \\ k u, & |u|<\theta, \\ -\gamma, & u \leq-\theta,\end{cases} $$ 其中 $\theta, \gamma>0$ 为常数, $\gamma$ 称为饱和值, $\gamma$ 为神经元的最大输出。
(3) 阈值函数/阶跃函数 $$ f(u)= \begin{cases}\beta, & u>\theta, \\ -\gamma, & u \leq \theta,\end{cases} $$ 其中 $\beta, \gamma, \theta$ 均为非负实数, $\theta$ 为阈值。 阈值函数具有以下两种特殊形式: 二值形式 $f(u)=\left\{\begin{array}{ll}1, & u>\theta, \\ 0, & u \leq \theta ;\end{array} \quad\right.$ 双极形式 $f(u)= \begin{cases}1, & u>\theta, \\ -1, & u \leq \theta .\end{cases}$
(4) $\mathrm{S}$ 形函数 $$ f(u)=a+\frac{b}{1+e^{-d u}}, $$ 其中, $a, b, d$ 为常数。 $f(u)$ 的饱和值为 $a$ 和 $a+b$, 其最简形式为 $f(u)=\frac{1}{1+e^{-d u}}$ 此时函数的饱和值为 0 和 1 。
参考文献
- 司守奎，孙玺菁 Python数学实验与建模